Năm 1881, Đoàn học tại Học viện Quân sự Bảo Định, chuyên ngành pháo binh, ông tốt nghiệp thủ khoa đầu lớp.[1] Sau khi tốt nghiệp năm 1885, ông được chuyển đến Lữ Thuận Khẩu để giám sát việc xây dựng công sự pháo binh, tại đây ông đã được Lý Hồng Chương trọng dụng và gửi đi nghiên cứu khoa học quân sự ở Đế chế Đức trong hai năm.[2] Về nước năm 1891, ông được phong làm Ủy viên trưởng Cục Quân giới Bắc Dương (北洋军械局), rồi sau đó ông nhận làm trợ giảng tại Học viện quân sự ở Uy Hải, Sơn Đông. Viên Thế Khải phong cho ông làm chỉ huy pháo binh trong Tân quân.[2]

Dấu ấn đầu tiên của Đoàn xuất hiện khi ông phục vụ trong quân đội của Viên ở tỉnh Sơn Đông khi Phong trào Nghĩa Hòa Đoàn nổ ra. Viên đã giao quyền cho ông quản lý một đơn vị quân Bắc Dương vào năm 1904. Khi ông được chỉ định làm Hiệu trưởng trường Sĩ quan Bảo Định, ông đã tập hợp được nhiều sĩ quan cấp thấp trung thành với ông, điều này đã giúp ông tạo được thế lực cho riêng mình, cái mà sau này đã biến ông thành một người đầy quyền lực.[3] Trong suốt Khởi nghĩa Vũ Xương, quân của Đoàn đã thành công trong việc chống lại lực lượng cách mạng khi thu hồi được Vũ Hán. Đoàn chỉ huy Quân đoàn Lục quân số 2 đến yểm trợ cho Viên Thế Khải ở Hồ Bắc. Đổi lại sự trung thành của mình, năm 1912, Đoàn được Viên bổ nhiệm làm Tổng trưởng Lục quân, và một năm sau, năm 1913, làm Quốc vụ Tổng lý, kiêm Đô đốc hai tỉnh Hồ Bắc và Hà Nam.[2] Bấy giờ Đoàn được xem là một trong 3 người thân tín nhất của Viên (2 người kia là Phùng Quốc Chương và Vương Sĩ Trân), được dân gian hợp xưng là "Bắc Dương tam kiệt".[4]